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摘要 : [目的 /意义 ] 为 了 探讨 在 学 科 论 文 评价 上 ,Altmetrics 指标 间 的 量度 结果 是 否 具 有 一 致 性 ,试图 通过 
已 有 测量 数据 构建 基于 Altmetrics 的 文献 综合 评价 模型 ,为 评价 数据 的 使 用 和 重用 创建 新 的 度量 标准 。[ 方 法 / 
过 程 ] 获取 PLoS ALMs 上 土木 工程 学 科 2009 年 至 2016 年 发 表 的 全 部 文章 的 Altmetrics 指标 ,采用 相关 分 析 、 主 
成 分 分 析 方 法 将 15 个 原始 指标 划分 到 4 个 主 成 分 ,得 到 适用 于 有 具体 学 科 的 Altmetrics 评价 指标 体系 ,并 对 Alt- 


etrics 的 单一 指标 与 综合 评价 指标 进行 相关 度 分 析 , 采 用 “公平 性 测试 ”方法 探索 时 间 对 论文 评价 相关 度 的 差 
E [ 结果 /结论 ] 研究 发 现 采 用 “公平 性 测试 ”方法 消除 时 间 影 响 后 ,引用 指标 相关 性 上 升 ,而 与 社交 媒体 传播 
的 指标 有 所 下 降 , 但 Twitter 指标 不 降 反 增 , 且 始终 与 下 值 具有 较 高 的 相关 性 。 
O 关键 词 : 蔡 代 计量 学 主 成 分 分 析 ”公平 性 测试 ”学科 评价 
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2010 年 10 H ,J. Priem 联 同 D. Taraborelli 等 发 表 
了 Altmetrics:A manifesto ”宣言 ,正式 提出 了 “Altmet- 
riEsw( Alternative Metrics) RIE ^, 2012 年 至 今 ,国内 
图 情 学 科 和 期 刊 出 版 领域 对 Altmetrics 做 了 理论 和 实 
证 软 索 。 国 内 学 者 将 其 译 为 “ 蔡 代 计量 学 “补充 计量 
学 名 社 媒 影响 计量 学 "等 ,但 该 翻译 在 国内 语 境 中 有 
歧义 ,如 J Liu 认为 Altmetrics 旨 在 取缔 单一 使 用 引文 
计量 方法 进行 研究 影响 力 评价 ,进入 研究 影响 力 评价 
的 多 元 化 ,多样 化 阶段 , 绝 不 是 取代 引文 计量 方法 ， 
因此 本 文 仍然 采用 可 靠 而 简单 的 原 词 。2013 年 ,美国 
国家 信息 标准 协会 宣布 了 一 项 新 的 两 阶段 项 目 ,研究 
并 开发 基于 社区 的 补充 计量 标准 或 是 推荐 做 法 ”。 
2016 年 ,ProQuest 子 公司 Ex Libris 宣布 已 将 Altmetrics 
集成 到 Summon 发 现 服务 之 中 ” , 极 大 程度 上 改善 了 
用 户 体验 ,促进 内 容 的 发 现 与 集成 。Altmetrics 有 助 于 
填补 引用 指标 无 法 表达 的 知识 缺口 ,Altmetrics 不 仅 在 
数据 的 种 类 上 比 传统 文献 计量 学 更 多 ,而 且 在 数据 的 


量 级 上 更 庞大 。 尽 管 对 Altmetrics 的 理论 研究 与 实践 
仍 处 于 起 步 探索 阶段 ,存在 一 些 前 脆性 问题 值得 探 
ROS AH Altmetrics 通过 其 “大 众 评审 ”的 优势 ,在 
一 定 程度 上 弥补 了 同行 评议 的 不 足 。 在 评价 单 篇 论文 
方法 优越 性 上 ,Altmetrics 指标 在 设立 之 初 与 传统 计量 
学 中 引用 指标 并 不 存在 可 比 性 ,一 是 两 者 体现 出 文献 
的 不 同方 面 影响 力 , 二 是 Altmetrics 指标 与 传统 计量 学 
中 引用 指标 更 多 地 体现 出 一 种 互补 关系 ,Altmetrics TÉ 
价 工具 ImpactStory 与 Plum Analytics 都 将 传统 计量 学 
中 的 被 引 量 作为 影响 力 评 佑 来 源 。2017 年 3 月 ,Alt- 
metric. com 将 Web of Science 中 的 被 引 次数 也 作为 指 
标 之 一 ,通过 与 传统 计量 学 中 引用 指标 结合 ,Altmetrics 
指标 已 经 更 加 精准 地 评估 文献 影响 力 。 

目前 的 研究 大 多 聚焦 在 验证 Altmetrics 指标 与 其 
他 文献 计量 指标 量度 结果 相关 性 ,通过 检验 单一 Alt- 
metrics 指标 优 于 综合 Altmetrics 指标 评价 学 术 论 文 影 
响 力 ,如 通过 对 所 选 样本 进行 同行 评议 或 者 其 他 第 三 
方 指标 进行 评价 验证 , 目前 相关 的 研究 已 经 验证 了 
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Altmetrics 不 是 孤立 的 ,在 未 来 具有 一 定 的 应 用 潜力 。 
本 研究 则 定位 在 Altmetries 指标 间 的 量度 结果 的 一 致 
性 研究 ,采用 主 成 分 分 析 、 降 维 等 操作 ,通过 已 有 测量 
数据 构建 基于 Alimetries 的 文献 综合 评价 模型 ,为 评价 
数据 的 使 用 和 重用 创建 新 的 度量 标准 。 

在 确定 较 高 的 测量 值 是 否 与 较 高 的 文章 某 一 具体 
指标 相关 联 的 过 程 中 ,需要 设计 一 个 公正 的 测试 。 究 
其 原因 是 因为 相关 性 测试 对 于 Altmetrics 来 说 并 不 理 
想 ,许多 测试 都 基于 快速 增长 的 数据 ,平均 来 说 , 较 新 
的 文章 可 以 比较 旧 的 文章 获得 更 高 的 比较 分 数 。 指 标 
数据 值 也 需要 时 间 累 积 ,如 果 不 调整 这 些 差异 , 则 相关 
性 检验 总 是 偏向 于 负 相 关 。 通 过 调整 引用 或 使 用 数据 
以 消除 这 些 偏 见 (如 下 载 统计 数据 ”“”) 是 很 困难 的 ， 
因为 可 靠 的 “使 用 数据 " 仅 适用 于 发 表 时 间 最 近 的 引 
用 窗口 所 使 用 的 文献 。 为 了 避免 这 些 问题 ,可 以 采用 
"Ey to Zr IAS 
2e) Altmetrics 与 传统 指标 之 间 的 相关 性 探索 
C T UE Altmetrics 与 传统 指标 之 间 的 相关 性 ,已 
绽 有 研究 人 员 进 行 了 多 角度 的 尝试 ,研究 结果 不 一 。 
传统 引用 指标 与 Altmetrics 指标 的 相关 强度 ,K. 
YANE EIE HTML 浏览 量 和 PDF 下 载 量 遵循 长 尾 分 
Ai HUE ,两 者 的 相关 程度 较 强 ;X，Wang 等 中 发 现 被 引 


{ 


2.2 基于 PLOS 的 论文 级 别 计量 研究 现状 

论文 层面 计量 学 ” ”与 Altmetrices” ”不 是 同 义 
词 ,二 者 的 内 涵 与 研究 范围 不 同 ,前 者 是 试图 在 论文 层 
面 测量 个 体 论文 的 影响 力 。 在 测量 过 程 中 ,论文 层面 
计量 学 搜集 不 同 的 数据 源 ,而 后 者 则 是 利用 新 型 数据 
源 测 量 多 种 对 象 (如 一 篇 论文 、 一 本 期 刊 或 者 一 个 独立 
的 学 者 ) 的 影响 力 。 论 文 层面 计量 学 是 利用 Altmetrics 
数据 源 与 传统 数据 源 ,在 论文 层面 重新 定义 论文 的 影 
响 力 。Altmetrics 则 是 深入 研究 各 种 新 型 数据 源 的 特 
点 .规律 与 应 用 ,不 仅仅 是 在 论文 层面 对 各 种 数据 源 进 
FRA”, 

早 在 2009 4E,C. Neylon fü S. Wul 站 就 曾 以 PLoS 
和 F1000 为 例 , 对 论文 层级 的 学 术 影 响 力 计 量 (ALMs ) 
方案 的 可 行 性 进行 探讨 ,并 分 别 从 计量 数据 的 来 源 和 
专家 评论 的 激励 机 制 两 个 角度 予以 论述 。PLOS 的 
Altmetrics 计量 指标 主要 针对 PLOS 出 版 的 文献 ,其 
ALMs 指标 主要 分 为 5 大 类 ON K (VIEWED) , 含 
PLOS Journals ( HTML PDF XML ) PubMed Central ( HT- 
ML PDF) 指标 ;@ 被 引用 (CITED ) , 4 CrossRef, Data- 
cite, Europe PMC PubMed Central , Scopus, Web of Sci- 
ence 指标 ;@ 被 保存 (SAVED ) , & CiteULike , Mendeley 
J& bk ; OE I ie ( DISCUSSED) , & PLOS Comments , Fa- 
cebook „Reddit „Twitter , Wikipedia 指标 ;@ 被 推荐 (REC- 
OMMENDED) , 含 F1000 Prime 指标 。 虽 然 PLOS 的 计 


EPS, PDF 浏览 量 之 间 的 相关 程度 显著 高 于 其 他 指标 。 
IEEE Altmetics 指标 内 部 的 相关 性 ,日 ，Alhoori 等 ' 
发 更 Altmetrics 之 间 的 相关 性 不 强 , 且 单 篇 论文 在 不 同 
平 加 上 的 被 关注 度 也 不 同 。 此 外 ,Altmetrics 与 引用 指 
标的 关系 收 到 了 广泛 关注 ,L，Bornmann 等 "发 现 博 
客 , 微 博 与 引用 指标 的 相关 程度 较 低 ,而 书签 的 表现 稍 
好 一 些 ;R，Costas 等 发现 不 同学 科 领 域 存在 差异 性 
的 分 布 规律 ,并 且 只 适用 于 最 新 出 版 的 论文 ;A. Zucca- 
la 等 ”发 现在 论著 中 被 引 量 与 读者 评论 数 之 间 也 不 
具有 显著 相关 性 ;K，Chen 等 “验证 了 不 同学 科 . 不 同 
地 域 学 者 的 引用 与 Altmetrics 相关 度 不 强 。M. Thel- 
wall 等 "5 通过 具体 模型 进行 检验 ,也 表明 Altmetries 与 
引用 指标 存在 不 同 强度 的 正 相关 关系 。J， Prem A 
为 单一 指标 用 于 学 术 评价 仍 存在 缺陷 ,必须 将 各 个 指标 
结合 起 来 ,但 并 不 是 所 有 的 替代 计量 指标 都 能 达到 良好 
的 效果 ;J. Lin 提出 将 替代 计量 和 同行 评议 相 结合 的 
评价 体系 ,但 后 续 使 用 收效 甚 微 ;我 国学 者 余 厚 强 也 将 
网 络 环境 下 学 术 评价 的 结果 外 化 为 投入 程度 ”与 “利用 
深度 "5 ,但 是 也 没有 给 出 具体 的 衡量 标准 。 


量 指 标 相对 较 少 ,但 是 每 个 计量 指标 的 数据 来 源 渠 道 
比较 权威 且 被 广泛 使 用 ” o EAM PLoS ALMs 
是 最 早 提出 利用 Altmetrics 指标 进行 单 篇 论文 影响 力 
评价 ,并 成 功 将 这 一 理论 付 诸 实 施 的 工具 。 刘 晓 娟 
等 基于 PLOS ALM 数据 ,发 现 不 同 维度 的 文献 价值 
不 同 ,评价 工作 中 需要 根据 指标 自身 的 优势 .劣势 和 适 
用 范围 ,合理 构建 指标 体系 。 
2.3  Altmetrics 在 学 科 评价 及 科研 服务 中 的 应 用 
Altmetrics 指标 与 传统 的 引文 分 析 并 不 是 简单 的 
相关 与 否 ,不 同学 科 之 间 的 差异 直接 影响 了 其 相关 
JE 7 ,此 外 ,利用 Altmetries 工具 可 以 为 学 者 提供 学 
RERA ,通过 提供 相应 的 评估 服务 ,帮助 学 者 塑造 
更 加 多 彩 的 职业 形象 后 。 部 分 高 校 已 经 党 试 结合 Alt- 
metrics 提供 多 样 化 的 学 科 服务 。 匹 效 堡 大 学 图 书馆 系 
统 利 用 Altmetrics 工具 开展 大 学 研究 成 果 评 佑 试点 工 
JE ,与 研究 人 员 建 立 更 为 直接 的 沟通 机 制 ,形成 多 方 参 
与 的 影响 力 评价 方案 。 此 外 , 麻 省 理工 学 院 医学 院 
图 书馆 通过 练习 并 使 用 Altmetrics 产品 促进 Altmetric. 
com 在 馆 内 机 构 库 中 的 具体 化 应 用 ;伦敦 政治 经 济 学 
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集 了 数据 。 由 于 数据 收集 过 程 因 信息 量 的 不 同 而 不 


作 , 利 用 Alimetries 为 研究 人 员 展 现 社会 影响 图 景 , 帮 
助 研究 人 员 追 踪 他 们 工作 的 在 线 关注 动态 。 
2.4 “公平 性 测试 ”方法 在 论文 影响 力 评价 中 的 应 用 
M. Thelwall 认为 后 进行 Altmetrics 指标 和 引文 指 
标 相关 分 析 的 前 提 是 消除 时 间 窗 口 对 数据 采样 的 影 
响 , 提 出 将 待 测 数据 置 于 一 个 相对 公平 的 测试 环境 中 ， 
从 而 提出 “公平 性 测试 "(faimess test) 方 法 。 指 标 分 析 
的 根本 问题 是 各 个 指标 数据 存在 偏差 ,以 引文 为 例 , 不 
同学 科 的 论文 在 同一 时 间 获 得 的 引文 量 有 时 在 数量 级 
上 存在 差异 ,通过 改 用 适当 修正 的 指标 可 以 消除 学 科 
间 的 这 种 偏见 (如 CNCT) ,而 若 不 进行 适当 的 处 理 ,这 
种 偏见 可 能 会 使 比较 变 得 毫 无 意义 。 针 对 学 科 间 的 差 
异 的 这 种 操作 属于 “公平 性 测试 "的 处 理 范畴 ,但 针对 
同 全 学 科 在 不 同时 间 发 表 的 论文 的 影响 力 测度 时 ,也 
需 允 消除 时 间 的 影响 ,使 得 在 历时 性 的 指标 考察 时 可 
pus. J. Priem, H. Piwowar!“ 检查 了 PLoS 文章 
随 击 间 推移 的 社交 媒体 事件 的 分 布 情况 ,注意 到 其 
的 得 为 差异 。 例 如 ,引文 .网 页 浏览 量 和 维基 百科 引用 
车 隐 着 时 间 推 移 而 增加 ,而 CiteULike , Mendeley , Deli- 
cibus 书签 和 F1000 等 级 则 相对 不 受 文章 发 表 时 期 的 
车 了 确 。 其 他 指标 则 差异 巨大 ,是 由 于 数据 服务 的 变化 
硫 局 限 性 阻碍 了 分 析 , 这 突出 表明 需要 考虑 到 某 些 指 
标 简 稳定 性 以 及 在 纵向 研究 中 使 用 这 些 指标 的 问题 。 
研 胰 发 现 多 数学 者 只 对 其 所 在 领域 最 新 的 文章 感 兴 
趣 e= 因 此 ,笔者 推测 一 篇 文章 在 其 发 布 日 受到 关注 最 
多 - 随 着 时 间 关 注 度 逐 渐 下 降 。 
OO 具 体 来 说 ,在 “公平 性 测试 "中 ,每 篇 文章 只 与 紧 
接 在 它 之 前 和 之 后 发 布 的 两 篇 文章 (同一 期 刊 ) 进行 
比较 。 因 此 ,只 有 发 布 时 间 大 致 相同 的 文献 ,最 大 限度 
地 降低 了 引用 延迟 和 使 用 偏差 ,彼此 才 可 进行 比较 。 
同时 ,在 被 测试 文章 之 后 发 布 的 文章 的 任何 微弱 的 优 
势 或 劣势 都 应 该 通过 其 平均 值 与 之 前 发 布 的 文章 的 等 
价 优势 或 劣势 进行 抵消 。 该 测试 给 出 了 3 种 可 能 的 结 
果 :@D 成 功 :分 数 评分 高 于 相 邻 两 篇 文章 的 平均 分 , 且 
其 引文 评分 高 于 两 篇 相 邻 文章 的 平均 值 ,或 者 评分 低 
于 相 邻 两 篇 文章 的 平均 分 ,上 且 分 数 低 于 两 篇 相 邻 文章 
的 平均 值 ;@ 失 败 : 与 “成 功 "条 件 相 反 , 即 分 数 评分 高 
于 相 邻 两 篇 文章 的 平均 分 ,上 且 其 引文 评分 低 于 两 篇 相 
邻 文章 的 平均 值 , 或 是 分 数 评分 低 于 相 邻 两 篇 文章 的 
平均 分 , 且 其 引文 评分 高 于 两 篇 相 邻 文章 的 平均 值 ;@ 
无 效 :所 有 其 他 情况 。 对 于 每 个 比较 对 ,都 会 创建 一 个 
列表 。 因 此 ,测量 得 分 为 正 的 文章 通过 该 测量 有 效 收 
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[c] ,因此 不 可 能 假设 一 个 比 对 的 文章 的 正 分 数 意味 着 
它 也 将 被 有 效 地 监测 其 他 计量 学 指标 。 以 引用 指标 为 
例 ,尽管 由 于 引文 时 间 窗 口 较 短 ,文章 的 引用 得 分 不 可 
靠 , 但 这 不 应 该 导致 结果 出 现 系 统 性 偏差 ,因为 在 用 某 
一 指标 与 对 照 得 分 进行 比较 的 方法 中 考虑 了 发 表 时 
间 。 

F. Radicchi 等 ”采用 “公平 性 测试 "方法 ,从 概 
率 的 角度 为 学 术 期 刊 评价 指标 的 学 科 间 比较 的 公平 性 
提供 可 计量 的 评价 依据 。 两 人 利用 “公平 性 测试 ” 方 
法 ,实证 分 析 在 学 科 的 top 10% 论文 中 , 归 一 化 指标 
fractional citation 的 公平 性 要 远 远 高 于 期 刊 影响 因子 。 
陈 福 佑 等 ”以 学 科 归 一 化 的 期 刊 评 价 指标 相对 期 刊 
影响 因子 和 平均 百分比 等 级 指标 为 例 , 引 入 “公平 性 测 
试 "方法 检验 了 两 个 学 科 归 一 化 评价 指标 在 不 同学 科 
比较 中 的 适用 性 。 王 害 等 ”以 273 篇 高 替代 计量 指 
标 论 文 为 样本 ,利用 “公平 性 测试 ”方法 消除 时 间 对 被 
引 次 数 的 影响 ,发现 具 有 高 蔡 代 计量 指标 的 学 术 论 文 
同时 具有 较 高 的 被 引 次 数 。 
2.5 小 车 

通过 对 Altmetrics 的 相关 研究 进行 分 析 ,发 现 学 者 
们 不 断 探 索 Altmetrics 的 内 涵 与 应 用 ,但 在 Altmetrics 
效 度 实证 方面 , 仍 有 等 进一步 深入 研究 。 例 如 :由 于 许 
多 因素 ,如 论文 的 发 表 时 间 、 所 属 学 科 、 期 刊 .引用 动 
机 、 地 域 及 数据 的 丰富 性 都 可 能 造成 实验 结果 的 偏差 ， 
这 方面 的 分 组 研究 却 很 少 ,因此 笔者 选取 一 个 具体 的 
学 科 ,选择 某 一 期 刊 ,探讨 学 科 论文 的 评价 模式 。 为 了 
探讨 在 学 科 论 文 评价 上 ,结合 论文 引用 指标 、 论 文 使 用 
指标 和 论文 Altmetrics 指标 是 否 优 于 单一 使 用 一 种 类 
型 指标 , 且 评价 是 否 具 有 一 定 可 信和 度 问 题 ,笔者 提出 了 
Altmetrics 在 具体 学 科 领 域 论文 评价 中 的 应 用 探析 这 
一 研究 主题 。 事 实 上 ,不 同学 科研 究 人 员工 具 使 用 偏 
好 存在 较 大 差异 ,当前 的 Altmetrics 测量 方法 更 多 的 是 
适用 于 STEM( 科 学 技术、 工程 与 数学 ) 领域 ,而 其 他 
学 科 ( 人 文艺 术 与 社会 科学 ) 没 有 多 少 可 用 的 工具 和 
此 标 ,因此 笔者 选择 工程 学 中 的 一 个 具体 学 科 一 一 土 
木工 程 作为 分 析 的 案例 ,探讨 Altmetrics 指标 在 该 学 科 
论文 评价 中 的 适用 性 。 此 外 ,采用 “公平 性 测试 ”方法 
以 消除 发 表 时 间 对 期 刊 论文 影响 力 评价 的 影响 ,并 对 
这 一 方法 进行 简化 ,最 大 程度 地 提高 分 析 的 可 靠 性 。 


3 ”研究 设计 


为 了 探讨 Altmetries 指标 间 量 度 结果 的 一 致 性 , 笔 
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者 将 采用 相关 分 析 、 主 成 分 分 析 降 维 等 操作 ,通过 已 有 
测量 数据 构建 单一 学 科 基 于 Altmetrics 的 文献 综合 评 
价 模型 ,为 评价 数据 的 使 用 和 重用 创建 新 的 度量 标准 。 
本 研究 首先 获取 土木 学 科 一 段 时 期 内 文献 的 Altmet- 
rics 指标 ,根据 数据 库 所 收录 的 指标 类 型 ,获取 浏览 
(viewed) .保存 (saved) 、 讨 论 (discussed)、 引 用 (cited) 
4 大 类 15 个 细 分 指标 ,通过 主 成 分 分 析 构 建 基于 Alt- 
metrics 的 文献 综合 评价 模型 ,得 到 综合 下 计算 公式 , 比 
较 各 Altmetrics 指标 与 了 的 相关 性 ,采用 “公平 性 测试 ” 
方法 消除 时 间 影 响 后 ,重新 比较 相关 性 并 探讨 哪些 因 
素 受 到 时 间 的 影响 较 大 , 且 在 未 来 基于 Altmetrics 的 论 
文 社 交 影 响 力 指标 评价 体系 中 , 需 重 新 划分 相关 因素 
的 权重 。 

3 有 二 土木 学 科 论 文 样本 选取 

本 考虑 到 论文 从 发 表 到 浏览 保存 .讨论 乃至 引用 需 
y 的 时 间 ,因此 在 PLoS ALMs( https :Z/ www. plos. 


org/ article-level-metrics) 上 检索 2009 年 至 2016 年 出 版 
的 主题 为 Civil Engineering 的 全 部 文章 ,检索 时 间 为 
2017 年 11 H 3 日 ,类 型 选择 Research. Article , Hz f; z& 
到 410 篇 文献 ,下 载 这 些 文献 的 Metrics Data 数据 。 通 
过 初步 查看 数据 发 现 文献 的 Web of Science 引用 次 数 
均 为 0 ,作者 推测 这 与 PLoS 数据 库 收录 范围 有 关 ” ， 
故 将 全 部 文献 以 DOI 标识 符 在 Web of Science 核心 合 
集中 进行 匹配 ,获得 每 篇 论文 的 Web of Science 最 近 
180 天 使 用 次 数 、Web of Science 从 2013 年 至 今 使 用 次 
数 、Web of Science 至 今 引 用 次 数 等 指标 。 此 外 ,Met- 
rics Data 表 中 数据 90% 以 上 为 0, 不 具有 分 析 价 值 , 故 
删除 这 部 分 字段 。 最 终 纳入 分 析 的 数据 示意 及 基本 分 
布 情况 ( 见 表 1)。 其 中 代码 列 用 于 指标 体系 构建 ， 
WOS Short Use 指 文章 在 Web of Science 上 最 近 180 天 
使 用 次 数 ,WOS long Use 指 文章 在 Web of Science 上 
2013 年 至 今 使 用 次 数 。 统 计 分 析 软 件 采用 StataSE12 。 


表 1 基于 PLOS 的 土木 工程 学 科 ALMS 计量 指标 


指标 痢 标 缩写 代码 均值 标准 差 最 小 值 最 大 值 
PLOS views PLOSvi VI 3 160.932 3 471. 857 376 25 421 
PLOS PDF downloads PLOSPDFd V2 485.422 498.855 2 96 4 855 
PLOS XML downloads PLOSXMLd V3 40.926 83 67.502 78 2 504 
PMC views PMCviews V4 441.112 2 482.1949 26 4 400 
PMC PDF Downloads PMCPDFD V5 106. 478 95.492 27 7 615 
a saved Mendeley Mendeley S1 39.2 48.214 47 0 393 
E oci Figshare Figshare S2 74.441 46 112.177 3 0 1 508 
i WOS Short Use WOSSU S3 2.619 512 2.876 702 0 19 
WOS long Use WOSIU S4 28.204 88 29. 489 08 0 253 
Facebook Facebook D1 18.668 29 218.760 6 0 4 392 
= Twitter Twitter D2 7.092 683 15. 367 58 0 178 
\ Wikipedia Wikipe D3 0.095 122 0.440 3 0 4 
cited Scopus Scopus C1 10.370 73 22. 997 48 0 347 
PMC Europe Citations PMCEuCt C2 1.680 488 4. 634 606 0 45 
Web of Science WOSCit C3 8.758 537 18.794 29 0 273 


3.2 综合 得 分 计算 方式 

关于 Altmetrics 的 研究 越 来 越 受到 关注 ,国内 外 学 
者 也 提出 相关 评价 指标 ,并 通过 大 量 的 实证 研究 验证 
这 些 指标 的 可 行 性 。Altmetrics 在 计算 综合 分 数 时 , 通 
常 需要 根据 不 同 社会 化 媒体 影响 力 的 不 同 为 其 赋予 适 
当 的 权重 。2017 年 9 月 ,www. altmetric. com 给 出 的 一 
般 计 算 方式 见 表 2 ” 。 

根据 Altmetric 评价 系统 的 评分 标准 来 看 ,Altmet- 
ric 评价 系统 更 侧重 于 大 众 和 网 络 影响 力 , 但 是 并 未 把 
下 载 和 阅读 次 数 考虑 在 内 。 绪 合 www. altmetric. com 
对 Altmetric 的 计算 方法 及 Plos 本 身 的 计算 方法 ,通过 


表 2 www. altmetric. com 不 同 数据 源 赋 分 情况 


数据 来 源 分 值 数据 来 源 分 值 
News 8 Wikipedia 3 
Blogs 5 Policy Documents ( per source ) 
Open Syllabus 1 Linkedln 0.5 
Google 4 YouTube 0.25 
Twitter Reddit/Pinterest 
Sina Weibo Q&A 
F1000/Publons/Pubpeer Facebook 


对 指标 数据 源 进行 统计 和 计算 ,设计 出 适用 于 具体 学 
科学 术 环境 的 Altmetric 公式 , 即 士 木工 程 学 科 结 合 
Altmetrics 的 文献 计量 算法 。 
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3.2.1 主 成 分 分 析 各 指标 主 成 分 分 析 的 结果 是 否 
可 行 通过 对 KMO(Kaiser-Meyer-Olkin) 和 SMC ( squared 
multiple correlations) 进行 进一步 检验 ( 见 表 3 )。KMO 
抽样 充分 性 测度 也 是 用 于 测量 变量 之 间 相 关 关 系 的 强 
弱 的 重要 指标 ,是 通过 比较 两 个 变量 的 相关 系数 与 偏 


相关 系数 得 到 的 。 可 以 看 出 KMC 检验 结果 为 0. 802 
5 , 主 成 分 分 析 能 够 起 到 比较 好 的 数据 约 化 效果 。SMC 
即 一 个 变量 与 其 他 所 有 变量 的 复 相关 系数 的 平方 ,也 
就 是 复 回 归 方 程 的 可 决 系数 ,样本 SMC 较 高 ,可 以 看 
出 变量 的 线性 关系 较 强 , 可 以 做 主 成 分 分 析 。 


表 3 KMO 和 SMC 检验 可 行 性 结果 


变量 KMO 检验 SMC 检验 变量 KMO 检验 SMC 检验 
PLOSvi 0.821 8 0.780 5 WOSIU 0.7606 0. 545 

PLOSPDFd 0.849 3 0.874 8 Facebook 0.574 7 0.388 6 

PLOSXMLd 0.658 4 0.189 5 Twitter 0.681 9 0.501 7 
PMCviews 0.746 3 0. 508 8 Wikipe 0.754 1 0.142 2 

PMCPDFD 0.774 3 0.614 8 Scopus 0.778 2 0.966 2 
Mendeley 0.886 1 0. 830 6 PMCEuCt 0.9212 0.706 8 
Figshare 0.646 6 0.073 5 WOSCit 0.787 6 0.967 1 
WOSSU 0.594 4 0. 264 Overall 0. 802 5 


一 前 四 个 成 分 特征 值 累积 占 了 总 方差 的 67.743% 。 
局 而 的 特征 值 的 贡献 越 来 越 少 。 根 据 主 成 分 个 数 确定 
准 却 , 取 特 征 值 大 于 1 的 前 四 个 主 成 分 ,其 因子 累计 方 
差 芮 献 率 接近 80% 。 因 此 ,将 15 个 原始 指标 划分 到 前 
WEB 主 成 分 中 , 见 表 4。 通 过 对 载荷 矩阵 进行 旋转 ,可 
得 镜 相 应 的 特征 向 量 , 见 表 5。 

表 4 指标 方差 计算 结果 


“NEomponent Eigenvalue Difference Proportion Cumulative 
2 Compl 5.601 61 3.785 58 0.373 4 0.373 4 
C Comp2 1.816 03 0.323 339 0.1211 0.494 5 
Comp3 1.490 67 0. 237 554 0.099 4 0.593 9 
Comp4 1,233 12 0. 264 345 0.083 5 0.677 4 
> à Comp5 0.988 773 0.075 761 0.065 9 0.743 3 
CO Comp6 0.913 012 0.021 13 0.060 9 0.804 2 
C Comp7 0.891 883 . 0.361 494 0.059 5 0. 863 7 
= Comp8 0.530389 . 0.113 876 0.035 4 0. 899 
», Comp9 0.416 513 0.061 145 0.027 8 0.926 8 
i Comp10 0.355 368 0.055 323 0.023 7 0.950 5 
Compll 0.300 0046 — 0.099 031 0.02 0.970 5 
Compl2 0.201014 0.068 984 0.013 4 0.983 9 
Comp13 0.132031 . 0.039 773 0.008 8 0.992 7 
Compl4 0.092 258 0.074 98 0.006 2 0.998 8 

Compl5 0.017 278 0.001 2 1 
3.2.2 确定 指标 体系 在 主 成 分 分 析 中 ,四 个 主 成 分 


下 的 数值 代表 相互 关系 的 紧密 程度 。 从 表 5 主 成 分 与 
各 变量 载荷 矩阵 可 知 ,PLOSvi、PLOSPDFd , PLOSXMI d 、 
PMCPDFD ,Mendeley „Scopus , PHCEuCt , WOSCit 在 第 一 
个 主 成 分 上 有 和 较 高 载荷 ,说 明 第 一 个 主 成 分 基本 能 
反映 这 些 计量 指标 的 数据 信息 ;Facebook .Twitter 在 第 
二 个 主 成 分 上 有 和 较 高 载荷 ;WOSSU WOSIU 在 第 三 个 
主 成 分 上 有 较 高 载荷 ,说 明 第 三 个 主 成 分 基本 反映 了 
Web of Science 上 指标 的 信息 ; MCviews , Figshare , Wikipe 
在 第 四 个 主 成 分 上 有 和 较 高 载荷 。 总 之 ,从 中 提取 四 个 
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R5 主 成 分 分 析 后 成 分 结构 


变量 Compl Comp2 Comp3 Comp4 
PLOSvi 0.779 0.427 一 0. 055 -0.01 
PLOSPDFd 0.925 0. 049 0. 043 -0. 121 
PLOSXMLd 0.296 0.035 -0.293 -0.176 
PMCviews 0. 522 0. 009 =0. 379 0. 559 
PMCPDFD 0. 629 -0. 128 -0.424 0. 358 
Mendeley 0. 892 -0.056 0.242 0.024 
Figshare 0. 167 0. 059 -0.12 0. 421 
WOSSU 0.165 0. 163 0. 769 0.175 
WOSIU 0. 528 0. 093 0. 588 0. 309 
Facebook 0. 083 0. 788 -0.131 -0.216 
Twitter 0. 249 0.841 -0.109 -0.164 
Wikipe 0.272 0.167 -0.028 0.41 
Scopus 0. 861 -0.265 0. 052 -0.296 
PMCEuCt 0.777 -0.288 -0.175 -0.246 
WOSCit 0. 875 -0.248 0.065 -0.27 


主 成 分 可 以 基本 反映 全 部 指标 的 信息 ,因此 ,笔者 决定 
用 四 个 主 成 分 来 代替 原来 的 15 个 指标 。 

将 4 个 主 成 分 因子 分 别 记 为 F1, F2 F3, F4, Ai 
四 个 主 成 分 的 表达 式 是 : 

Fl 20. 779 « V1 « 0.925 « V2 € 0. 296 * V3 + 
0.522 * V4 0. 629 * V5 + 0. 892 * S1 +0. 167 * S2 + 
0.165 « S3 «0.528 * S4 +0. 083 * DI +0. 249 « D2 + 
0.272 * D3 40.861 * C1 «0.777 * C2 40.875 « C3 

F2 20.427 * VI +0. 049 « V2 +0. 035 * V3 + 
.009 * V4 -~ 0. 128 * V5 - 0. 056 « S1 «0.059 « S2 + 
0.163 * S3 +0. 093 « S4 +0. 788 * DI +0. 841 * D2 + 
.167 « D3 — 0.265 * C1 - 0.288 * C2 0.248 * C3 

F3 = -0.055 « VI «0.043 * V2 — 0.293 « V3 - 
.379 « V4 - 0.424 * V5 +0. 242 S1 0.12 x S2 + 
0.769 * S3 «0.588 « S4 — 0. 131 « DI —0. 109 « D2 — 
0.028 * D3 40.052 * CI 0.175 * C2 40.065 * C3 


m 


© 


[e] 


[e] 
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F4 = -0.01 « VI - 0.121 « V2 - 0.176 « V3 + 
0.559 * V4 & 0.358 * V5 € 0.024 « S1 +0. 421 * S2 + 
0.175 * S3 +0. 309 « S4 -0.216 * DI —0.164 « D2 + 
0.41 « D3 — 0.296 * C1 0.246 « C2 - 0.27 « C3 

根据 以 上 四 个 主 成 分 的 表达 式 和 四 个 主 成 分 的 特征 
向 量 值 ,可 以 进一步 推算 出 评分 模型 。 在 主 成 分 分 析 中 ， 
每 个 主 成 分 的 方差 贡献 率 代表 了 该 主 成 分 所 包含 的 信息 
多 少 ,可 以 将 每 个 主 成 分 的 方差 贡献 率 占 累加 贡献 挛 的 比 
重 作为 该 主 成 分 的 权重 。 由 表 4 可 以 计算 出 四 个 主 成 分 
的 权重 分 别 为 0.551 2 .0. 178 8 .0. 146 7 0.123 3。 对 四 个 
主 成 分 求 加 权 平 均 数 即 为 学 术 论文 综合 影响 力 : 


F =0.5512F1 +0. 1788F2 +0. 1467 F3 +0. 1233 * F4, 
由 此 ,可 计算 出 各 个 期 刊 的 综合 得 分 。 


4 ”基于 “公平 性 测试 ”方法 的 论文 学 术 


影响 力 分 析 
4.1 各 指标 与 Altmetrics 综合 得 分 相关 性 分 析 

通过 学 术 论 文 综合 影响 力 计算 公式 计算 得 到 全 
部 文献 综合 影响 力 。 计 算 各 指标 与 Altmetrics 综合 得 
分 相关 性 及 在 1% 的 显著 性 水 平 上 进行 检验 的 结果 ， 
得 到 如 表 6 所 示 : 


A6 各 指标 与 综合 得 分 直接 相关 性 及 显著 性 水 平 


指标 相关 性 检验 结果 指标 相关 性 检验 结果 

PLOSvi 0.992 6 * 0.000 0 WOSIU 0.416 3* 0.000 0 

> — PLOSPDFd 0.846 7* 0.000 0 Facebook 0.291 9* 0.000 0 

f — PLOSXMLd 0.237 0* 0.000 1 Twitter 0.482 6* 0.000 0 

— — PMCviews 0.4673 * 0.000 0 Wikipe 0.282 0* 0.000 0 

PMCPDFD 0.489 7 * 0.000 0 Scopus 0.570 5* 0.000 0 

Mendeley 0.7122* 0.000 0 PMCEuCt 0.506 4 * 0.000 0 

(700 Figehare 0.135 8 0.507 4 WOSCit 0.592 6* 0.000 0 

7: WOSSU 0.110 7 0.951 9 

€ 经 过 计算 , Altmetries 指标 与 Scopus 引用 指标 、 行 改 进 。 


PMG Europe Citations 指标 .WOS 引用 指标 的 相关 性 均 
在 05 -0.6 之 间 , 可 见 单 一 的 Altmetrics 指标 与 传统 
计生 学 以 引用 为 主 的 各 指标 之 间 仅 具有 弱 相 关 关 系 ， 
构建 基于 多 源 数据 指标 的 Altmetries 评价 体系 是 解决 
这 问题 的 思路 之 一 ,如 开放 评审 的 数据 文献 管理 工 


具 互 的 关注 量 与 阅读 量 数据 ,社交 网 络 中 的 推荐 量 与 
点 志 量 数据 等 。 
《尽管 目前 文章 被 引用 次 数 仍然 是 公认 的 判断 文章 
学 术 影 响 力 的 重要 指标 ,但 由 相关 性 分 析 结 果 可 以 看 
出 ,Views 指标 中 的 PLOS views 指标 与 综合 得 分 相关 性 
达到 了 99. 26% 。 因 此 ,如 果 其 他 计量 指标 和 PLOS 
views 指标 存在 相关 性 ,说 明 该 指标 可 能 与 学 术 影响 力 
相关 联 。 然 而 ,将 一 篇 论文 的 Altmetrics 指标 和 PLOS 
views 指标 简单 进行 相关 分 析 并 不 科学 ,由 于 社交 网 络 
信息 传播 具有 短 时 期 爆发 式 传播 等 特性 ,Twitter 上 的 
信息 传播 往往 会 随时 间 增 长 急速 消退 ,这 就 导致 了 以 
社交 网 络 信息 为 主要 信息 源 的 Alimetrics 指标 增 量 随 
时 间 增 长 而 呈现 下 滑 的 态势 。 此 外 ,同时 期 发 表 的 论 
文 ,往往 介绍 新 兴 前 沿 的 文章 会 获得 更 高 的 Altmetrics 
指标 。 引 文 指标 却 与 此 相反 ,一 篇 论文 被 引用 次 数 随 
时 间 的 增长 而 不 断 增加 ,引用 数量 的 变化 则 无 显著 发 
展 态势 。 因 此 ,需要 对 这 些 差异 进行 调整 ,为 了 结合 多 
样 化 数据 给 予 文献 更 精准 的 评价 ,笔者 对 计算 方式 进 


4.2. 采用 “公平 性 测试 ”方法 消除 时 间 影 响 

针对 PLOS 土木 学 科 的 文献 ,按照 综合 得 分 计算 
方式 ,将 计算 出 的 Alimetries 分 数 和 各 原始 指标 作为 变 
量 , 进 行 相关 分 析 , 结 果 相关 性 并 不 高 。 由 此 可 见 , 需 
要 设计 实验 ,以 验证 Altmetrics 指标 和 浏览 数 之 间 是 否 
具有 相关 性 。 由 于 本 人 研究 论文 均 来 自 PLOS, HJE FE 
一 学 科 , 在 每 期 上 的 分 布 较 密集 ,因此 选取 3 篇 论文 作 
为 一 组 比较 对 象 ,其 中 3 篇 论文 的 前 后 2 篇 作为 参照 ， 
选取 规则 是 全 部 研究 对 象 中 发 表 时 间距 离 最 近 的 前 后 
两 篇 文章 ,大 大 减少 了 工作 量 。 采 用 新 方法 既 能 够 消 
除 时 间 窗 口 的 影响 ,确保 同一 组 对 象 的 数据 采样 区 间 
一 致 ,又 能 保证 每 一 组 数据 计算 的 独立 性 ,同时 减少 计 
算 成 本 。 

采用 “公平 性 测试 ”方法 ,以 PLOS 发 表 的 410 篇 土木 
工程 学 科 文 献 作为 样本 ,查找 和 这 410 篇 论文 在 样本 中 发 
表 前 后 两 篇 论文 作为 参照 。 由 于 发 表 时 间 最 早 和 最 晚 的 
两 篇 文章 不 具有 完整 的 前 后 对 比 项 , 故 最 终 得 到 408 组 比 
较 对 象 ,对 这 408 组 结果 分 组 进行 计算 .比较 。 
4.3 结果 分 析 

设 单 篇 论文 Altmetrics 综合 得 分 为 A, 单 篇 论文 某 
一 指标 为 X, 人 研究 样本 中 每 篇 文章 用 p 表示 ,参照 论文 
H man, H m 优先 于 n 发 表 。 将 比较 结果 分 为 三 组 ,如 
d Wn: 
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表 7 “公平 性 测试 ”方法 规则 


2] 结果 一 结果 二 
成 功 组 Ap » 1/2( Am + An) H Xp » 1/2( Xm + Xn) Ap < L/2( Am + An) H. Xp « 1/2( Xm + Xn) 
失败 组 Ap »1/2( Am + An) H Xp « I/2( Xm + Xn) Ap < L/2( Am + An) H. Xp » 1/2( Xm + Xn) 
无 效 组 除 前 两 组 以 外 情况 
表 8 “公平 性 测试 分析 结果 及 排序 变化 
类 别 比较 项 目 成 功 次 数 失败 次 数 成 功 比例 失败 比例 ”测试 前 排序 ” 测试 后 排序 ”排序 变化 
Viewed PLOS views 395 13 96. 8196 3.1996 1 l 
Viewed PLOS PDF downloads 338 70 82. 84% 17. 16% 2 2 — 
Viewed PMC views 294 114 72. 0696 277.9496 8 3 15 
Discussed Twitter 287 121 70. 3496 29. 66% 7 4 13 
Saved Mendeley 283 125 69. 3696 30. 64% 3 5 V2 
Cited Scopus 282 126 69. 1296 30. 88% 4 6 42 
Viewed PMC PDF Downloads 270 138 66. 18% 33. 82% 6 7 +1 
Cited Web of Science 262 146 64. 2296 35.78% 13 8 15 
Saved WOS long Use 261 147 63. 97% 36. 03% 9 9 — 
T i Viewed PLOS XML downloads 258 150 63.2496 36. 7696 12 10 12 
-— Saved WOS Short Use 230 178 56.3796 43.6396 15 11 14 
= Saved Figshare 177 231 43.38% 56.62% 14 12 12 
s Facebook 167 241 40. 93% 59.07% 10 13 43 
== Cited PMC Europe Citations 154 254 37.75% 62.25% 5 14 49 
p Discussed Wikipedia 41 367 10.05% 89. 95% 11 15 |4 


OO F Altmetrics 综合 得 分 保留 了 后 续 三 位 小 数 , 降 
佐 洋 比较 无 效 的 结果 ,通过 最 终 比较 ,发 现 各 组 均 不 存 
在 郑 效 的 比较 结果 。 通 过 表 8 中 的 Altmetric 分 数 以 及 
和 从 中 层 数 据 比较 结果 可 以 看 出 ,成 功 次 数 远 远 高 于 失 
败 次 数 。 其 中 PLOS views 成 功率 最 高 ,达到 96.81% , 
这 三 结果 验证 了 前 文 的 相关 性 分 析 结 果 。 其 余 测试 项 
国 的 计算 结果 较为 稳定 ,成 功率 大 多 在 56% - 82% 这 
一 全 间 。 
` 己 通过 对 比 表 6 和 表 8 ,笔者 发 现 * 公 平 性 测试 " 方 
法 物 正 后 ,各 指标 与 综合 得 分 直接 相关 性 存在 差异 , 修 
正 前 相关 性 高 于 0.5 的 指标 由 高 至 底 依 次 为 PLOSsvi 
— PLOSPDFd - Mendeley - WOSCit — Scopus - PM- 
CEuct ,修正 后 相关 性 由 高 至 低 依次 为 PLOS views — 
PLOS PDFdownloads - PMC views - Twitter - Mendeley — 
Scopus - PMC PDF Downloads , 消除 时 间 窗 口 的 干扰 后 ， 
与 综合 指标 相关 度 较 低 的 指标 (如 Facebook , PMC. Eu- 
rope Citations , Wikipedia) 下 降 最 多 , 而 与 综合 指标 相关 
度 较 高 的 指标 (如 PMC views ,Twitter) 则 上 升 较 多 ,可 
见 消 除 时 间 影 响 后 在 一 定 程度 上 拉 大 了 指标 与 了 值 的 
差距 。 在 测试 后 相关 性 上 升 的 指标 中 ,浏览 指标 中 的 
PMC views 上 升 最 多 ,这 与 论文 只 有 通过 被 浏览 才能 获 
得 高 的 关注 度 有 关 , 在 Web of Science 中 的 引用 指标 相 
关 度 上 升 ,可 以 推测 传统 以 引用 为 主要 影响 力 评价 指 


可 见 论文 短期 使 用 量 也 是 评价 论文 影响 力 的 重要 指 
标 ,消除 时 间 因 素 后 ,这 一 指标 的 重要 性 凸显 出 来 。 

而 与 社交 媒体 传播 相关 的 指标 在 测试 后 相关 度 有 
所 下 降 ( 如 Facebook , Wikipedia) ,这 与 其 爆发 式 的 传播 
特点 密 不 可 分 ,而 这 些 指标 普遍 与 耻 值 相关 度 较 低 ,但 
是 值得 注意 的 是 讨论 指标 中 的 Twitter 指标 不 降 反 增 ， 
且 始 终 与 了 值 具 有 较 高 的 相关 性 ,推测 用 户 对 Twitter 
的 粘性 要 低 于 Facebook , Twitter 的 传播 度 更 广 且 更 自 
由 ,在 时 间 上 也 呈现 短 时 间 爆 发 态势 ,Facebook 由 于 是 
好 友之 间 的 传播 ,其 传播 的 稳定 性 更 高 ,时 间 的 突变 性 
更 低 。 

统计 每 一 类 结果 的 累计 值 ,能够 做 如 下 推论 :如 果 
Altmetrics 分 数 与 某 一 指标 的 关系 越 强 , 则 结果 中 成 功 
次 数 与 失败 次 数 之 间 的 差异 越 明显 ;反之 , 如果 Alt- 
metrics 分 数 与 某 一 指标 没有 关系 ,那么 成 功 次 数 和 失 
败 次 数 之 间 没 有 明显 差异 。 


5 ”结论 与 讨论 


本 文 的 创新 性 主要 体现 在 以 下 两 点 :中 基于 PLOS 
收录 的 土木 工程 学 科 论 文 进 行 ALMs 指标 的 主 成 分 分 
析 构 建 综合 评价 指标 模型 ;@ 尝 试 应 用 "公平 性 测试 ” 
方法 检测 单一 Altmetries 指标 与 综合 Altmetrics 得 分 之 
间 相 关 性 ,并 发 现 引 入 “公平 性 测试 ”方法 ,消除 时 间 


标 存在 一 定 意义 ,论文 能 够 被 引用 ,足以 说 明 其 关注 度 
和 重视 程度 ,保存 指标 中 的 WOS Short Use 有 所 上 升 ， 
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窗口 的 干扰 之 后 ,测试 后 相关 性 上 升 的 指标 中 ,浏览 指 
标 中 的 PMC views 上 升 最 多 ,这 与 论文 只 有 通过 被 浏 


ChinaXiv& 4 


刘 红 有 购 ， 王 铮 .基于 “公平 性 测试 ”的 Altmetries 学 术 质 量 评价 方法 研究 [可 .图 书 情报 工作 ,2018 ,62(16 ) :102 - 110. 


览 才 能 获得 高 的 关注 度 有 关 。 在 Web of Science 中 的 
引用 指标 相关 度 上 升 ,可 以 推测 传统 以 引用 为 主要 影 
响 力 评价 指标 存在 一 定 意义 ,保存 指标 中 的 WOS Short 
Use 有 所 上 升 ,可 见 论文 短期 使 用 量 也 是 评价 论文 影 
响 力 的 重要 指标 ,消除 时 间 因 素 后 ,这 一 指标 的 重要 性 
凸显 出 来 。 而 与 社交 媒体 传播 相关 的 指标 在 测试 后 相 
关 度 有 所 下 降 ( 如 Facebook Wikipedia) ,这 与 其 爆发 式 
的 传播 特点 密 不 可 分 ,而 这 些 指标 普遍 与 了 值 相 关 度 
较 低 , 但 是 值得 注意 的 是 讨论 指标 中 的 Twitter 指标 不 
降 反 增 , 且 始 终 与 F 值 具有 较 高 的 相关 性 。 

本 研究 目前 仍 存在 一 定 的 局 限 性 : DPLoS ALMs 
只 能 处 理 PLoS 出 版 以 及 存储 在 PubMed Central 上 的 
论文 ,制约 了 它 的 应 用 范围 ;@ 现 有 自然 科学 领域 更 侧 
论文 ,而 人 文 社会 科学 领域 的 很 多 研究 成 果 ( 如 
FF IH .艺术 品 ) 很 难 通过 定量 指标 来 彰显 其 内 在 

和 对 外 影响 力 ,此 时 同行 评论 等 成 为 优先 采用 的 
性 指标 ,笔者 期 望 未 来 可 以 通过 图 书 引文 索引 .BCI 
标 探讨 适用 于 人 文 社会 科学 领域 的 评价 体系 。 
)Altmetrics 是 一 种 评价 过 滤 手 段 ,但 不 是 唯一 的 评 
滤 手 段 ,尽管 目前 基于 Altmetrics 的 研究 已 经 如 火 


始 纲 地 展开 ,但 是 其 发 展 得 仍然 不 够 成 熟 ,认可 度 也 有 
待 撮 高 ,有 时 还 需要 通过 “公平 性 测试 "等 方法 进行 修 
) 通 过 对 PLoS ALMs 上 的 数据 进行 分 析 与 研究 , 作 


发 现 现 有 工具 对 Alimetrics 指标 的 集成 不 够 完善 ,大 
量 数据 存在 缺失 等 情况 ,这 在 一 定 程度 上 制约 了 Alt- 
ics 的 发 展 。 同 时 ,笔者 也 注意 到 在 分 析 论 文 影响 
力 征程 中 ,不 仅 应 关注 Altmetrics 指标 与 论文 影响 力 的 
相 英 关系 ,还 应 该 重视 不 同 指标 的 重要 性 及 量化 程度 。 
本 区 的 实证 研究 发 现 Altmetries 量度 与 传统 计量 指标 
中 的 引用 量度 是 弱 相 关 关系 ,在 这 一 具体 案例 研究 中 ， 
仍然 无 法 判断 Altmetrics 是 否 可 以 替代 传统 评价 方式 
对 论文 进行 评价 。 在 未 来 的 研究 中 ,笔者 将 进一步 聚 
焦 于 提升 Altmetries 可 信 度 方面 ,通过 多 种 方法 测试 并 
验证 方法 的 有 效 性 。 
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Abstract. [ Purpose/significance] In order to explore whether the measurement results of Altmetrics indicators are 


consistent in the evaluation of subject papers, this paper attempts to build a comprehensive literature evaluation model 


based on Altmetrics through the existing measurement data, and to create new metrics for the evaluation and reuse of data. 


[ Method/ process | In this study, the Altmetrics indicators of all articles published in the Civil Engineering disciplines 


from 2009 to 2016 on the PLoS ALMs are obtained. The 15 original indicators are divided into 4 principal components u- 


sing correlation analysis and principal component analysis methods, which are applied to specific disciplines. It analyzes 


the correlation between the single index and the comprehensive evaluation index of Altmetrics, and uses the fairness test 


method to explore the differences in the relevance of time to the evaluation of the paper. [ Result/conclusion | The study 


finds that after using the fairness test method to eliminate time impact, the relevance of the citation indicators has in- 


creased, while the indicators related to social media communication have declined. But the Twitter index has not de- 


creased, and it has always been highly correlated with the F value. 
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